Theo sách Thông điển và Tân Đường thư ở đời Đường, thì cột đồng Mã Viện có thể ở chỗ núi Thạch Bi (nay thuộc Phú Yên). Đề cập đến vấn đề này, sách Khâm định Việt sử Thông giám cương mục (Tiền biên, Quyển 2, tờ 83) thời Nguyễn đã có ý kiến như sau:

...Nay xét dã sử thấy có chép tỉnh Phú Yên có sông Đà Diễn (tục gọi là sông Đà Rằng). Phía Nam sông ấy có bãi lớn. Phía Tây Nam bãi ấy có núi Thạch Bi. Núi này chu vi tới mười dặm, phía Tây tiếp Đại Lĩnh, nhiều rặng trùng điệp, phía đông ra mãi bờ biển. Trên đỉnh núi ấy có một phiến đá trơ trọi cao hình như bị chẻ dọc. Theo lời ghi chép trong các sách Thông điển, Đường thư, ngờ rằng cột đồng có thể ở chỗ ấy. Chỉ có một điều, một phiến đá trơ trọi ở trên đỉnh núi ấy, cao chừng 10 trượng, rộng tới 6,7 trượng. Nhân dân ở quanh núi ấy nói rằng phiến đá ở trên đỉnh núi là một chỏm đá tự nhiên, không phải của ai lập thành cả. Vậy e rằng ta không thể bảo đấy là cột đồng...[2].

Năm 1908, sách Đại Nam dư chí ước biên ra đời (do Cao Xuân Dục làm Tổng tài) cũng bác bỏ thuyết trên, trích:

...Truyện Hoàn Vương trong Đường thư chép: "Lâm Ấp vương chạy tới Đại phố, phía nam Đà Châu, ở đó có núi Đồng Trụ. Mã Viện đời Hán dựng cột đồng ở đó". Nhưng xét truyện Mã Viện thì ông chưa từng tới Phú Yên. (Vậy) đó chỉ là lời thêm thắt[10].

Xét khía cạnh khác, là mặc dù các sử cũ ở bên trên đều cho rằng việc Mã Viện dựng cột đồng là có thật, nhưng tra trong Hậu Hán thư (chương nói về tiểu sử của Mã Viện) và Hậu Hán ký đều không thấy nói đến. Có lẽ vì vậy, nhà nghiên cứu Henri Maspéro trong phần biên khảo về cuộc viễn chinh của Mã Viện đã không hề nhắc đến những cây cột đồng, mà cũng chẳng có lời phủ nhận về sự hiện hữu của chúng [11].

Đến năm 1941, một phụ tá của Trường Viễn Đông Bác Cổ là Nguyễn Văn Tố, sau khi ra công truy tầm, đã bác bỏ hẳn chuyện Mã Viện sai dựng cột đồng vì cho rằng nó chỉ là một giai thoại. Và ông còn đề nghị là "không nên chép chuyện này vào sách sử, vì không có chứng cớ chính xác" [12].

Năm 1977, sau khi tìm hiểu, GS. TS. Trương Hữu Quýnh cũng đã có ý kiến như sau:

...Nhiều nhà nghiên cứu, nhà chính trị Trung Quốc ở thế kỷ sau đã nhiều lần tìm lại dấu vết cột đồng Mã Viện mà không thấy. Họ cho rằng cột đồng đã bị đá bồi lấp mất hay bị nước biển cuốn đi. Thực ra, theo nhà nghiên cứu sau này, cột đồng và câu chuyện về cột đồng của Mã Viện đều là chuyện đặt thêm...[13]

Tương tự, trong Từ điển bách khoa toàn thư Việt Nam có đoạn viết:...Trên thực tế, không tài liệu nào chứng minh rõ ràng được sự tồn tại của cột đồng này.

Gần đây, trong các bộ sử của Việt Nam, như Đại cương lịch sử Việt Nam của nhóm Phan Huy Lê - Trần Quốc Vượng - Hà Văn Tấn - Lương Ninh; Đại cương lịch sử Việt Nam của nhóm Trương Hữu Quýnh - Phan Đại Doãn - Nguyễn Cảnh Minh đều không nhắc đến chuyện cột đồng Mã Viện.

Tuy nhiên, vẫn có người tin rằng chuyện "cột đồng Mã Viện" là có thật, bởi trong lịch sử Trung Quốc việc dựng cột để ghi công sau một cuộc viễn chinh là chuyện thường thấy. Sau Mã Viện, những tướng khác như Hà Lý Trinh, Trương Chu và Mã Tống thuộc đời Đường; Mã Hy thuộc đời Hậu Tấn cũng đã dựng cột đồng ở các xứ phía Nam [14].